Thị xã Hà Giang được thành lập vào năm 1904.

Năm 1975, Hà Giang được sáp nhập với tỉnh Tuyên Quang thành tỉnh Hà Tuyên, thị xã Hà Giang trở thành thị xã trực thuộc tỉnh Hà Tuyên, gồm 3 phường: Nguyễn Trãi, Quang Trung, Trần Phú và 3 xã: Kim Thạch, Ngọc Đường, Phú Linh.

Ngày 12 tháng 8 năm 1991, tái lập tỉnh Hà Giang từ tỉnh Hà Tuyên. Khi chia ra, tỉnh Hà Giang có 10 đơn vị hành chính, thị xã Hà Giang trở thành tỉnh lỵ của tỉnh Hà Giang.

Ngày 29 tháng 8 năm 1994, chia phường Trần Phú thành 2 phường: Trần Phú và Minh Khai.

Ngày 20 tháng 8 năm 1999, chia xã Kim Thạch thành 2 xã: Kim Thạch và Kim Linh.[6]

Ngày 9 tháng 8 năm 2005, thành lập phường Ngọc Hà trên cơ sở 120,90 ha diện tích tự nhiên và 2.399 người của xã Ngọc Đường, 117,20 ha diện tích tự nhiên và 628 người của phường Trần Phú.[7]

Ngày 23 tháng 6 năm 2006, chuyển 3 xã: Kim Linh, Kim Thạch, Phú Linh về huyện Vị Xuyên quản lý; đồng thời tiếp nhận 2 xã Phương Độ và Phương Thiện chuyển từ huyện Vị Xuyên về thị xã Hà Giang quản lý.[8]

Năm 2009, thị xã Hà Giang được công nhận là đô thị loại III.

Ngày 27 tháng 9 năm 2010, thị xã Hà Giang được trở thành thành phố trực thuộc tỉnh Hà Giang[9]